Ở tuổi khoảng 25 Harold kết hôn với Edith Swannesha và có ít nhất sáu người con với bà này. Cuộc hôn nhân này được chấp nhận rộng rãi bởi các giáo dân, mặc dù các giáo sĩ chi coi Edith là tình nhân của Harold. Con cái của họ may mắn là đã không bị coi là ngoài giá thú. Theo Orderic Vitalis thì Harold đã từng đính hôn với Adeliza cô con gái của William, Công tước xứ Normandy, sau này là William Kẻ chinh phục vì thế mà bà này đã ở giá không bao giờ lấy thêm ông chồng nào nữa.[5]

Vào trung tuần tháng 1 năm 1066, Harold kết hôn với Edith (hoặc Ealdgyth), con gái của Ælfgar-Bá tước xứ Mercia (một xứ giàu có vì là trung tâm thương mại và hàng hải của nước Anh hồi đó) và là quả phụ của hoàng tử xứ Uyên Gruffydd Llywelyn, một kẻ thù của người Anh. Edith có hai con trai - có thể là sinh đôi tên là Harold và Ulf (sinh vào tháng 11 năm 1066), cả hai đều sống sót đến khi trưởng thành và có lẽ đã phải sống cuộc sống lưu vong vì thất bại.

Sau khi chồng bà qua đời, người ta nói rằng hoàng hậu đã tị nạn ở chỗ người anh em mình tức Edwin, Bá tước xứ Mercia và Morcar xứ Northumbria nhưng cả hai người này ban đầu chấp nhận chung sống hòa bình với quân xâm lược sau đó lại nổi loạn và bị mất cả cuộc sống lẫn đất đai của họ, còn Aldith có thể lại phải đào tẩu ra hải ngoại. Godwine và Edmund, hai con trai của Harold thì chạy sang Ái Nhĩ Lan và sau đó chiếm lấy Devon nhưng bị đánh bại bởi Brian của Bờ rơ-ta-nhơ.